智能体能调试网络语料库吗：斯洛伐克语 FineWeb2 的 Agentic 审计
🧭 Agent 驱动数据审计与质量评估
Comenius University in Bratislava · Cisco Systems · Kempelen Institute of Intelligent Technologies · Brno University of Technology
用工具型 LLM agent 低成本审计斯洛伐克语 FineWeb2，产出可执行测试并发现 140 万篇机器生成内容
📌 工作参考价值（4 点）
- 用一次 LLM agent 探索数据管道并产出可执行的验证规则（正则/统计特征/轻量模型），比全量 LLM 分类便宜 4 个数量级，适合定期巡检搜索/推荐语料、商品描述或 UGC 内容的系统性污染。
- 把「模型分类」改为「agent + 工具 + 人工盲审」的审计模式：让 agent 输出 selector 和判断依据，再抽检验证，既能估算缺陷率，又给出 pipeline 漏检原因，便于修复上游过滤规则。
- 预算可控的只读 API 设计值得借鉴：限制工具调用轮次和文档读取量，把单次审计成本压到几美元，可高频跑在数据入库前或日常监控中。
- 先做静态采样/规则基线，再决定是否上 agent；论文中静态采样基线成本不足一半且能验证更多 selectors，业务上应优先用简单可解释规则覆盖大部分问题。
程序化推理数据设计：Completion-Supervised微调下的广泛生成器集合
🧭 程序化数据生成 · 推理训练
Univ. Lille · Inria · CNRS · Centrale Lille · CRIStAL
构建50个生成器的Reasoning Core，揭示紧凑目标和校准难度对完成监督推理训练的关键作用
📌 工作参考价值（4 点）
- 为Agent训练构建程序化推理数据：可借鉴其生成器框架，创建电商购物助手所需的多步决策、约束满足等合成样本，通过难度控制逐步提升模型推理能力。
- 训练数据设计原则：优先保证目标的紧凑性（减少冗长输出）和难度校准，避免模型学习表面模式；在搜索推荐场景中生成query改写或解释时，可据此过滤低质样本。
- 数据质量审计流程：将模型辅助审查、人工裁决和回归测试组合，用于保障搜索/推荐系统的合成训练数据质量，快速发现生成与标注错位。
- 验证数据效用的方法论：不依赖单一的语义合理性，而是直接在下游任务（如DROP/ARC）上评估数据贡献，业务中可据此建立快速反馈循环，筛选真正有效的训练数据。
Data Turnstile：面向函数调用的可扩展数据合成开放框架
🧭 小模型工具调用数据合成 ★ 深度解读
Amazon AGI
将多轮工具调用交互分解为逐角色生成与验证，用高质量合成数据让 0.6B SLM 无需 CoT 即超越 4B 基座。
📌 工作参考价值（4 点）
- 自定义域数据生成：电商 Agent、搜索助手等场景下，只需提供自有 API 定义与策略文档，即可用 Turnstile 合成高质量多轮对话数据，训练轻量工具调用模型，降低推理延迟和部署成本。
- 模板化验证提升质量：借鉴逐角色生成+结构 / 语义验证+错误重试的流水线，可在内部数据生产中避免一次性生成导致的 API 幻觉、格式错误等；动态注入“无关 API 拒绝”训练样本，解决模型盲目录入调用问题。
- 无 CoT 加速推理：经 Turnstile 数据微调的 SLM 在单轮简单任务上无需 CoT 即可超越带思考的基座，适合对延迟敏感的线上服务；但多轮复杂任务仍需保留 CoT，可依据任务复杂度灵活选择推理模式。
- 多样性控制方法：模板分布、参数组合采样和动态扰动（如模拟 API 执行失败、用户不配合）能显式控制数据多样性，优于仅靠温度采样的方式，适合构造覆盖长尾与异常情况的稳健训练集。
UltraX: 大规模自适应程序化编辑精炼预训练数据
🧭 预训练数据精炼 · 程序化编辑
Peking University · ModelBest Inc. · Tsinghua University · Shanghai Jiao Tong University
提出函数调用式程序编辑框架，以插入/删除/修改实现细粒度数据精炼，提升预训练数据效率与质量
📌 工作参考价值（4 点）
- 可将数据清洗定义为插入、删除、修改的程序操作，用小型模型（0.6B）学习执行，在推荐系统的大规模预训练语料上实现快速、高质量的精炼，比纯规则或LLM方法更平衡效率与效果。
- 构造监督数据的方法（专家LLM生成精炼文本 → 行对齐 → 编辑操作序列）可直接迁移到商品描述优化、搜索词纠错等业务场景，低成本获取结构化编辑信号。
- 滑动窗口预测与全局操作聚合的推理策略增强了长序列编辑的稳定性，可用于推荐系统中超长行为序列的规范化处理。
- 低置信度过滤与基于操作组合的比例采样，可借鉴用于提升推荐模型微调的数据质量与训练分布稳定性。
DataPrep-Bench：统一评估 LLM 训练数据构建与质量
🧭 LLM 训练数据准备基准
Peking University · Institute for Advanced Algorithms Research, Shanghai · OriginHub Technology · Zhongguancun Academy
首个端到端基准评估 LLM 数据构建与质量预测，提出 DAS 评分和技能引导代理
📌 工作参考价值（4 点）
- 在电商搜索/推荐场景的微调数据准备中，可借鉴 DAS (Distributional Alignment Score) 评估候选数据集与目标域（如商品查询、点击日志）的分布对齐程度，通过 MMD 衡量分布差异，过滤低质量样本，提升下游模型性能。
- Data-Construction-Skill 代理将复杂数据构建任务分解为技能引导的子任务，电商从业者可类似地将“查询-商品对生成”拆解为属性抽取、语义改写等技能，提升合成数据的多样性和相关性。
- 采用 下游驱动评估协议：不依赖表面文本指标，而是通过实际微调验证数据价值，推荐团队在迭代数据管道时可直接用在线 A/B 指标作为数据质量的最终评判标准。
- 基准中数据质量评估与数据构建的 统一框架 可迁移至推荐系统的训练数据准备流水线，将数据采集、清洗、标注和筛选环节标准化，并通过 DAS 等指标闭环优化。